Hadoop MapReduce reducerTask和partition的对应关系 |
您所在的位置：网站首页 › mapreduce partition › Hadoop MapReduce reducerTask和partition的对应关系 |
|
Hadoop MapReduce reducerTask和partition的对应关系
在hadoopMR中，许多人的理解就是partition和reduceTask的关系就是一对一，这样理解没错，通常情况下reduceTask的数量和partition就是一对一的关系，但是他们不是绝对一对一的关系，reduceTask的数量由job提交时设置的numReducreTask决定。 partition只是决定这条数据应该去往哪个reduce，就打个标记，出了partition，这条数据就和他没什么关系了，最终applicationmaster根据提交job时设置的（假设为3）numreducetask数量开启指定数量个reducetask，编号0,1,2开始，最后生成对应数量个最终文件part-r-00000，part-r-00001，part-r-00002，partition给每个kv标记的键值对代表这条数据应该由哪一个reduce处理，如果partition给每条数据都写死，标记的partition值为0，那么所有的数据就都会输入到reduce0中处理，另外两个reduce就孤零零的从生到死，没有数据光顾，这个现象其实就是数据倾斜，手动数据倾斜，很强大。 日常工作中，有时会遇到不需要reduce的情况，map的输出结果直接写到HDFS中，这时就出现无reduce情况，job提交时就可以设置reduce数量为0，就不会开启reducertask，map直接通过textoutputformat把文件写到HDFS中，否则，即使没有定义过reduce逻辑，也会执行reduce。总结：reducetask数量由job提交时的参数决定，生成文件数量由reducetask数量决定，数据去往哪个reduce处理由partition决定，一般情况下，多少个reduce对应多少个partition。 自己的理解，有错误欢迎指出。 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |